针对深层网络架构的图像超分辨率重建任务中存在网络参数多、计算复杂度高等问题，提出了一种基于加速残差网络的图像超分辨率重建方法。首先，构建一个残差网络对低分辨率图像与高分辨率图像之间的高频残差信息进行重建，以减少冗余信息的深层网络传输过程，提高重建效率；然后，通过特征收缩层对提取的低分辨率特征图进行降维，从而以较少的网络参数实现快速映射；之后，对高分辨率特征图通过特征扩展层进行升维，从而以较丰富的信息重建高频残差信息；最后，将残差与低分辨率图像求和得到重建的高分辨率图像。实验结果表明，该方法取得的峰值信噪比（PSNR）及结构相似性（SSIM）均值结果较基于卷积神经网络的图像超分辨率（SRCNN）取得的结果分别提升了0.57 dB和0.013 3，较基于中间层监督卷积神经网络的图像超分辨率重建（ISCNN）取得的结果分别提升了0.45 dB和0.006 7；在重建速度方面，以数据集Urban100为例，较现有方法提高了1.5~42倍。此外，将该方法应用于运动模糊图像的超分辨率重建时，获得了优于超深卷积神经网络的图像超分辨率（VDSR）的性能。所提方法以较少的网络参数快速获得较好的重建质量，并且为图像超分辨率重建提供了新的思路。